随机舍入 SGD 的比特数、训练时间与模型规模缩放定律
🧭 低精度训练 · 随机舍入 scaling laws
University of California, Berkeley · ICSI · LBNL
在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则
📌 工作参考价值（4 点）
- 在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
- 采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
- 固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
- 学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。
基于预条件空间的舍入：重新设计4-bit AdamW优化器状态量化
🧭 4-bit AdamW 优化器状态量化
University of California, Berkeley · Nubank
提出在预条件空间做随机舍入的4-bit AdamW状态量化方法，显著缩小与32-bit训练的验证损失差距
📌 工作参考价值（4 点）
- 若已经在用 TorchAO 4-bit AdamW 压缩大模型优化器状态，可直接替换第二动量的量化方式：不再做 state-space rounding，而是在 preconditioner space 计算随机舍入概率，改动集中在量化器实现层，训练流程无需重构。
- 第二动量码书可两条路线选择：ZIP-SR 保留零点适合大多数场景；ZE-EDEN 排除零点并 rescale 量化块，可缓解正量化底带来的预条件失真，对推荐/搜索模型中大量稀疏或接近零的梯度更有针对性。
- 第一动量用 4-bit NF4 已经够稳，但输出层（如推荐系统中的 item embedding 或 LLM 的 LM head）对量化更敏感，最后 10% 训练步对输出层第一动量做针对性随机舍入，能进一步降低验证损失，适合在微调生成式推荐模型时采用。
- 对需要大规模预训练或全参数 SFT 的电商/Agent 场景，该方法可降低优化器显存占用，同时把 4-bit 训练与 32-bit 训练之间的验证损失差距最多缩小 70%，适合作为训练成本优化的默认配置。
低精度 Transformer 推理中的随机舍入：小 GPT-2 变精度仿真研究
🧭 低精度推理 · 随机舍入策略
Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health · Université Paris-Saclay, UVSQ, LI-PaRAD
系统研究低精度 Transformer 中随机舍入与就近舍入的逐位置权衡，发现 MLP 输出宜用 SR、LM head 宜用 RN，混合配置可显著降低困惑度损失
📌 工作参考价值（3 点）
- 在低比特部署 LLM 时，不要全局统一舍入策略：对长 reduction 的 MLP 输出（尤其 down-projection）优先尝试随机舍入 SR，可显著抑制误差累积；而在 LM head 保留就近舍入 RN，避免引入非均匀 logit 方差导致 softmax 损失增加。
- 混合精度方案可将 SR 用于 MLP、RN 用于 head，实验中在 t=6 时把 perplexity 损失从等位 RN 的约 2.21x 降至 1.10x，减少约 28%，这对电商搜索/推荐中的文案生成、query 改写等低比特小模型很实用。
- 借助 PRISM 变精度随机舍入（VPSR）算法可离线评估不同层/操作的舍入策略，无需真实低精度硬件即可进行 what-if 分析，适合在量化工具链中作为 auto-tuning 组件。